Pichai sinh ra tại Madras (hiện tại là Chennai), Tamil Nadu, Ấn Độ vào năm 1972.[7] Bố của anh, ông Regunatha Pichai, là một kỹ sư điện lâu năm cho tập đoàn Anh Quốc General Electric Company (GEC) và điều hành một nhà máy sản xuất thiết bị điện.[8][9][10]Sundar lớn lên trong một căn hộ hai phòng ở 46th Street, 7th Avenue, tại Ashok Nagar, Madras.[11]

Pichai hoàn thành khóa X tại Trường Trung học Jawahar Vidyalaya, Chennai và hoàn thành khóa XII tại Vana Vani school ở IIT campus, Chennai.[12][13] Pichai nhận bằng Indian Institute of Technology Kharagpur (IIT KGP) tại Metallurgical Engineering.[14] Những giáo viên của anh tại IIT khuyên anh theo đuổi PhD tại Đại học Stanford, nhưng thay vào đó anh đã quyết định theo đuổi MS và bằng MBA. Anh nhận bằng MS từ Stanford University về Khoa học Vật Liệu và Kĩ thuật và một bằng MBA từ Wharton School of the University of Pennsylvania,[15] nơi anh nhận Siebel Scholar[16][17] và Palmer Scholar.